Augustus qua đời để lại ba cháu trai được sinh hạ bởi con gái của ông là Julia Lớn, gồm Gaius Caesar, Lucius Caesar và Agrippa Postumus. Không ai trong số đó còn sống để kế vị ông. Ngôi vị vì thế được trao đến Tiberius, vốn là con riêng của Livia (vợ thứ ba của Augustus) với chồng cũ là Tiberius Nero. Augustus là người thuộc dòng họ Julia, một trong những dòng dõi quý tộc lâu đời nhất ở kinh đô La Mã, còn Tiberius thuộc dòng họ Claudia, cũng lâu đời chẳng kém gì dòng họ Julia. Ba người kế vị sau đó đều thuộc dòng họ Claudia hoặc Julia nên giai đoạn này được gọi là vương triều Julio-Claudia.

Tiberius (14-37)

Những năm đầu triều đại Tiberius diễn ra thái bình khi ông bảo vệ được quyền lực của Đế quốc La Mã và làm đầy thêm ngân khố. Thế nhưng sau đó Tiberius trở nên hoang tưởng và hay nghi ngờ. Năm 19, nhiều người quy tội cho ông vì cái chết của người cháu là Germanicus,[8] vốn là một danh tướng nổi tiếng. Năm 23, đến lượt con ruột của Tiberius là Julius Caesar Drusus cũng chết. Vị hoàng đế bắt đầu một loạt những phiên tòa xử tội mưu phản và các màn tra tấn hành hạ.

Tiberius giao quyền cho một viên tướng là Lucius Aelius Sejanus rồi tới đảo Capri ở ẩn từ năm 26.[9] Sejanus bắt đầu củng cố quyền lực và ông cũng tiếp tục những màn hành hạ của Tiberius. Vào năm 31, Sejanus được phong là đồng Chấp chính quan (tiếng Anh: consul) cùng Tiberius và cưới cháu gái của hoàng đế là Livilla. Thế nhưng, ngay trong năm đó, ông lại bị chính thứ mà mình đã lợi dụng để làm bàn đạp tiến thân hại chết: sự hoang tưởng lo sợ của Tiberius. Sejanus và phe cánh của ông bị kết tội mưu phản và xử tử. Những vụ hành hạ tiếp tục kéo dài cho tới khi Tiberius chết vào năm 37.

Caligula (37-41)

Gaius (thường được gọi là Caligula), con trai của Germanicus và Agrippina Lớn, được chọn làm người kế vị. Ông bà nội của Caligula là Nero Claudius Drusus và Antonia Minor, ông bà ngoại của ông là Marcus Vipsanius Agrippa và Julia Lớn. Vì vậy nên ông là hậu duệ của cả Augustus và Livia.

Caligula được mọi người dân La Mã tung hô khi mới lên ngôi vì người ta vẫn còn rất yêu quý cha ông là Germanicus.[10] Vị tân vương khởi đầu suôn sẻ, chấm dứt những màn tra tấn từ thời Tiberius. Nhưng rồi Caligula bỗng nhiên bị bệnh thần kinh và hóa điên. Ông gây ra một loạt chuyện điên rồ. Theo sử sách ghi lại, Caligula đòi đưa con ngựa Incitatus của mình vào Viện nguyên lão.[11] Ông còn hạ lệnh đưa quân xâm lược đảo Anh để chiến đấu với thần biển Neptune, nhưng giữa chừng lại dừng ở bờ biển, sau đó Caligula cầm gươm chém điên cuồng xuống biển rồi ra lệnh cho quân sĩ làm trò hề khi đi thu nhặt vỏ sò làm chiến lợi phẩm.[12] Nhiều khả năng là Caligula đã loạn luân với ba người chị em ruột của mình.[13] Ông còn đòi dựng tượng mình ở đền thờ Herod, suýt chút nữa gây nên nổi loạn nếu không có vị vua Agrippa I can ngăn.[14] Caligula có trò vui là bí mật giết hại người khác sau đó mời họ tới cung điện của mình. Khi họ không tới, ông ta nói đùa rằng chắc hẳn họ đã tự tử.[15]

Năm 41, triều đại bệnh hoạn của Caligula được chấm dứt khi ông bị vị chỉ huy đội cận vệ là Cassius Chaerea tổ chức ám sát.[16] Người duy nhất còn lại trong gia đình hoàng tộc để lên ngôi là chú của Caligula, Claudius.

Claudius (41-54)

Claudius là em của Germanicus và trước đây luôn bị coi là một kẻ ngu ngốc và có thể trạng yếu đuối.[17] Thế nhưng ông là một nhà cai trị giỏi, không bị hoang tưởng như Tiberius hay điên loạn như Caligula. Ông cải tiến hệ thống hành chính và giải quyết các vấn đề liên quan tới công dân và Viện nguyên lão. Dưới thời Claudius, lãnh thổ của Đế chế được mở rộng đáng kế với sự sáp nhập các tỉnh Thrace, Noricum, Pamphylia, Lycia, Judea và Mauretania,[18] cùng cuộc chinh phục xa nhất là tới đảo Anh vào năm 43.[19] Claudius cũng cho tổ chức lại các tỉnh phía đông của đế chế và xây một cảng ở Ostia Antica, giúp ngũ cốc có thể chuyển về kinh thành La Mã trong điều kiện thời tiết khắc nghiệt.

Thế nhưng Claudius lại thất bại trong đời sống gia đình. Vợ ông là Hoàng hậu dâm đãng Messalina phản bội ông và bị xử tử.[20] Sau đó ông cưới cháu mình là Agrippina Trẻ (em gái của Caligula), và có thể chính người phụ nữ này đã đầu độc ông vào năm 54,[21] mở đường cho con trai của bà ta là Lucius Domitius Nero lên ngôi hoàng đế (Nero không phải là con của Claudius mà là con riêng của Agrippina với chồng trước là Gnaeus Domitius Ahenobarbus).

Nero (54-68)

Nero chú trọng vào ngoại giao, thương mại, và đóng góp nhiều vào văn hóa. Ông cho xây nhiều nhà hát và khuyến khích các trò mua vui trong đấu trường. Điều này làm người dân thành La Mã rất yêu thích ông, mặc dù thực sự thì ông là một bạo chúa.

Triều đại của Nero được đánh dấu bằng một chiến thắng quân sự và sau đó là hòa ước với Đế quốc Parthia (58–63),[22] một cuộc nổi loạn bị dập tắt (60-61),[23] và việc thắt chặt sự liên hệ với văn hóa Hy Lạp.[24] Thế nhưng Nero lại là kẻ tự cao tự đại và luôn căng thẳng với mẹ mình (cuối cùng ám sát bà vào năm 59).[25] Ông cũng luôn tìm cách đàn áp những người theo Thiên Chúa giáo, thường đổ tội cho họ là thủ phạm gây ra những bất ổn trong chế độ của mình.

Nhiều nhà sử học cho rằng chính Nero đã hạ lệnh đốt kinh thành La Mã trong vụ cháy nổi tiếng năm 64 để lấy chỗ xây dựng những công trình của mình.[26] Một trong những lý do khiến người ta nghĩ vậy là việc Nero tin mình là một vị thần và xây một cung điện tráng lệ cho ông ta (Domus Aurea) ngay trên đống đổ nát sau vụ cháy.[27] Nero cũng nhân cơ hội này để vu tội phóng hỏa cho các tín đồ Thiên chúa giáo và bức hại họ.[26]

Một vụ nổi loạn của quân đội đã buộc Nero phải ẩn trốn vào năm 68. Đối mặt với việc bị xử tử bởi Viện nguyên lão, Nero đã tự sát.[28]